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摘 要 : 知识 图 谱 引 入 推荐 系统 可 以 利用 知识 图 谱 实 体 之 间 的 语义 关系 学 习 用 户 及 项 目 表示 。 基 于 赂 入 传播 的 方 
法 利用 知识 图 谱 的 图 结构 学 习 相关 特征 ， 但 随 着 传播 范围 增加 ， 多 跳 实 体 间 的 语义 相关 性 减 小 。 为 有 效 提升 推荐 
语义 表达 能 力 并 提高 推荐 准确 度 ， 文 章 提出 基于 用 户 潜在 兴趣 的 知识 感知 传播 推荐 模型 ， 该 模型 采用 异 构 传 播 方 
式 传播 项 目 关 联 知识 并 迁 代 学 习 用 户 的 潜在 兴趣 ， 以 此 增强 模型 对 用 户 与 项 目的 表示 能 力 。 具 体 的 ， 首 先 图 嵌入 
层 生成 用 户 与 项 目的 初始 化 表示 ， 随 后 在 异 构 传播 层 中 采用 知识 感知 注意 力 机 制 区 分 同一 层 中 实体 之 间 的 重要 性 ， 
更 精确 的 生成 目标 实体 的 表示 。 随 后 通过 用 户 潜在 兴趣 传播 学 习 用 户 的 高 阶 潜在 兴趣 ， 增 强 多 跳 实 体 语义 相关 性 。 
最 后 在 预测 层 中 使 用 信息 衰减 因子 区 分 不 同 传播 层次 的 重要 性 ， 生 成 用 户 及 项 目的 最 终 表示 。 实 验 表明 ， 该 模型 
在 Last, FM 与 Book-Crossing 两 个 公开 数据 集 上 AUC 值 相 较 于 最 先进 的 基线 提升 了 2.25% 与 4.71%，F1 值 分 别提 
升 3.05% 和 1.20%，Recall@K 值 均 优 于 对 比 的 基线 模型 ， 文 章 提出 的 模型 能 有 效 提高 推荐 准确 度 。 
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Knowledge-aware propagation recommendation algorithm based on user's potential interest 


Zhang Bo, Zhao Peng, Zhang Jinjin, Zeng Zhaoju, Xiao Xuhao 
(College of Operational Support, Rocket Force University of Engineering, Xi' an 710025, China) 


Abstract: Applying knowledge graph to recommendation system can make use of semantic relations between entities of 
knowledge graph to learn user and item representation. The embedding propagation method uses the graph structure of the 
knowledge graph to learn relevant features, but the semantic dependency between multi-hop entities decreases as the 
propagation range increases. In order to effectively improve the semantic expression ability of recommendation and improve 
the accuracy of recommendation, this paper proposes a knowledge-aware propagation recommendation algorithm based on 
users' potential interests. The model adopts heterogeneous propagation method to disseminate item relevant knowledge and 


: iteratively learn users' potential interests, so as to enhance the representation ability of the model to users and items. 
Pm" Specifically, first, graph embedding layer generate initialize representation of users and items, and in the heterogeneous 
. propagation layer, the knowledge-aware attention mechanism can distinguish the importance of entities in the same layer, so 
the model can generate the representation of target entities more accurately. Then the user's potential interest propagation can 
effectively learn the user's higher-order potential interest and enhance the semantic relevance of multi-hop entities. Finally, 
information decay factor is used in the prediction layer to distinguish the importance of different communication levels and 
generate the final representation of users and items. Experiments show that the AUC value of the model on the Last. FM and 
Book-Crossing increases by 2.25% and 4.71% compared with the most advanced baseline, and the F1 value increases by 3.05% 
and 1.20% respectively, and the Recall@K value is superior to the comparison baseline model. The proposed model can 
effectively improve the accuracy of recommendation. 

Key words: recommended systems; knowledge graph; attention mechanisms; heterogeneous propagation 


0 引言 ATi Ee it EAK ANR d ae UI. 引入 到 协同 过 滤 推 荐 中 ， 
x 利用 丰富 的 外 部 项 目 语义 知识 提高 模型 表达 能 力 。 知 识 图谱 

计算 机 科学 与 互联 网 的 发 展 使 电子 商务 、 数 字 媒体 等 各 ”是 一 种 结构 化 的 辅助 信息 ， 由 ( 头 实 体 ， 关 系 ， 尾 实体 ) 三 元 

类 数字 化 平台 快速 崛起 ， 在 提高 人 们 生活 水 平 的 同时 也 使 人 ”组 形式 构成 ， 其 包含 大 量 的 项 目 背景 与 属性 ， 这 些 信息 由 实 
们 面临 数据 过 载 问题 止 。 推 荐 系统 可 以 在 用 户 需 求 未 知 的 情 。 体 与 关系 表示 。 项 目 由 属性 相关 联 ， 因 此 在 学 习 项 目 特征 的 
况 下 根据 用 户 交互 行为 推荐 用 户 可 能 喜欢 的 项 目 ， 从 而 缓解 ”过 程 中 通过 知识 图 谱 的 网 络 结构 可 以 获取 项 目 之 间 的 语义 相 
数据 过 载 问 题 。 协 同 过 滤 推 荐 算法 2-5 是 推荐 系统 研究 领域 ” 关 性 进而 提升 模型 项 目 表示 与 物品 描述 能 力 。 相 较 于 一 般 协 
的 重点 ， 其 基本 思想 体现 了 用 户 偏好 相似 与 用 户 行为 相似 的 。” 同 过 滤 推 荐 ， 知 识 感 知 推荐 可 以 使 推荐 结果 更 准确 且 具 有 
关联 特性 ， 但 当 用 户 交 互信 息 较 少 甚至 无 交互 信息 时 就 会 产 。 定 的 可 解释 性 。 
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^E cs i [eL RT, fg MU FRE RUE. ETC PATER 知识 图 谱 推 荐 系统 分 为 三 种 ， 分 别 是 基于 嵌入 的 方法 、 
注 辅 助 信息 ， 利 用 辅助 信息 更 好 的 学 习 项 目 相关 特征 并 生成 ”基于 路 径 的 方法 以 及 基于 嵌入 传播 的 方法 。 其 中 基于 嵌入 传 
项 目 表 示 。 播 的 方法 将 知识 图 谱 语 义 散 入 与 基于 知识 图 谱 路 径 的 推荐 
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方法 相 结合 ， 增 强 了 知识 图 谱 中 具有 多 跳 邻 居 的 实体 表示 。 项 目 谍 入 表示 ， 该 模型 将 图 卷 积 网 络 应 用 到 知识 图 谱 推荐 算 
但 该 方法 在 高 阶 传播 过 程 中 语义 知识 相关 性 会 随 着 传播 层 的 法 中 并 有 效 提 高 了 推荐 性 能 。 随 后 基于 KGCN 模型 提出 
增加 而 减 小 。 例 如 KGAT 模型 J 在 使 用 图 神经 网 络 迭 代 学 习 KGNNLS(Knowledge-aware Graph Neural Networks with Label 
实体 葡 入 表示 时 ， 通 常 迭 代 次 数 不 超 过 3 次 。 使 用 异 构 传播 Smoothness regularization) E 78 P0], iz B7 fs FI ER AS^E TH 1A 
的 HKIPN 模型 00 中 传播 深度 为 2、3 层 时 推荐 效果 最 佳 。 然 将 边 的 正则 化 等 价 于 在 知识 图 谱 上 进行 标签 传播 。 以 上 两 种 
而 ， 高 阶 实体 的 特征 也 县 定 的 参考 价值 ， 当 前 知识 感知 方法 表明 聚合 邻居 信息 生成 相关 表示 可 以 有 效 地 提高 推荐 性 
推荐 算法 并 不 能 有 效 利 用 高 阶 信息 。 为 解决 以 上 问题 ， 本 文 能 。Wang 等 人 处 提出 了 KGAT(Knowledge Graph Attention 
提出 一 种 基于 用 户 潜在 兴趣 的 知识 感知 传播 推荐 模型 。 该 模 Network) 模 型 ， 使 用 TransR 算法 学 习 知 识 图 谱 的 供 入 表示 ， 
型 增强 用 户 高 阶 潜在 兴趣 表示 ， 解 决 异 构 传 播 高 阶 传播 过 程 使 用 图 注意 力 网 络 递归 地 从 节点 的 邻居 传播 府 入 表示 ， 以 此 
中 存在 的 知识 语义 关联 性 降低 的 问题 。 增强 节点 的 拘 入 表示 并 生成 权重 区 分 邻居 重要 性 ， 该 模型 进 
本 文 的 主要 贡献 如 下 : 步 验 证 了 骨 入 传播 对 高 阶 关 系 探索 的 有 效 性 。Chen 等 人 [9 
a) 采 用 知识 感知 注意 力 机 制 区 分 异 构 传播 中 每 层 实体 的 提出 HKIPN(Hierarchical Knowledge and Interest Propagation 
邻居 重要 性 ， 通 过 用 户 潜在 兴趣 传播 ， 获 得 用 户 高 阶 潜在 兴 ”Netwok) 模 型 ， 使 用 协同 知识 图 异 构 传播 方法 ， 基 于 多 层 注 


趣 ， 增 强 用 户 及 项 目 表示 。 意 力 机 制 生成 不 同 权 重 的 高 阶 邻 居 信 息 ， 以 此 获得 用 户 项 目 
b) 使 用 信息 衰减 因子 区 分 传播 层 的 重要 性 ， 增 加 模型 的 表示 。XuP?1 等 人 提出 了 协同 知识 感知 图 注意 网 络 

表达 能 (Collaborative Knowledge-Aware Graph Attention Network , 
—€— 吉 果 显示 该 模型 在 知识 感知 推荐 系统 主流 数据 集 。 CKGAT)， 基 于 异 构 传播 策略 ，CKGAT 模型 使 用 知识 感知 


Last.FM 与 Book-Crossing 上 进行 的 CTR 与 TOP-K 任务 中 都 图 注意 力 网 络 提取 多 跳 波 纹 集 中 实体 的 拓扑 邻近 结构 ， 然 后 
良好 的 表现 。 学 习 高 阶 实体 表示 ， 从 而 生成 精细 的 波纹 集 艇 入 。 
; IET BON Pe E ITI HE UA AA ETRA ETET AE 
1 ”相关 工作 与 基于 路 径 的 推荐 方法 二 者 的 优点 ， 利 用 用 户 、 项 目的 低 维 
近年 来 ， 知 识 图 谱 广泛 应 用 于 知识 图 谱 补 全 5、 问答 向 进行 交互 计算 ， 通 过 传播 的 方式 实现 多 跳 关 系 的 挖掘 。 现 
系统 0 以 及 词 嵌 入 D3 等 研究 领域 ， 与 此 同时 在 推荐 领域 同 有 工作 的 主流 思想 是 使 用 图 神经 网 络 探索 知识 图 谱 的 多 跳 关 
样 受到 极 大 的 关注 。 知 识 图 谱 推 荐 算法 可 以 分 为 以 下 三 类 : 系 ， 如 基于 图 神经 网 络 的 CKGAT 模型 。 但 现实 中 用 户 项 
a) 基 于 嵌入 的 方法 (embedding-based method) 是 指 利用 图 ”交互 类 型 广泛 使 得 高 阶 交互 潜在 语义 信息 与 原始 项 目 表示 可 
嵌入 技术 对 知识 图 谱 中 的 实体 与 关系 进行 髓 入 表示 。Zhang 能 完全 不 同 P]4。 针 对 图 结构 数据 的 高 阶 传播 知识 相关 性 问 
等 人 04 提 出 CKE(Collaborative knowledge base embedding) 模 题 ， 基 于 异 构 传播 的 HKIPN 模型 提出 的 异 构 传 播 可 以 有 效 
型 ， 在 协同 过 滤 推 荐 的 基础 上 将 项 目的 知识 图 谱 中 相关 属性 的 提升 传播 范围 。 当 前 ， 随 着 传播 层次 增加 ， 如 何 高 效 利 用 
与 知识 结构 化 嵌入 表示 ， 以 此 对 项 目 进行 扩充 表示 。He 等 高 阶 交 互信 息 是 一 大 研究 难点 。 本 文 受 异 质 信息 网 络 推荐 传 
人 05 将 用 户 个 人 信息 融合 到 知识 图 谱 中 ， 生 成 异 质 信 息 网 播 思想 所 的 启发 ， 采 用 异 构 传 播 的 方式 通过 分 层 知识 感 
络 并 进行 图 散 入 表示 ， 该 模型 充分 利用 用 户 与 项 目的 辅助 信 注意 力 机 制 区 分 知识 图 谱 实 体 邻 居 重 要 性 ， 并 增强 用 户 、 
息 改 善 推荐 效果 。 虽 然 基于 奶 入 的 方法 一 定 程度 上 可 以 有 效 高 阶 表 示 以 此 解决 高 阶 传播 过 程 中 的 知识 语义 关联 性 问 
的 提升 推荐 性 能 ， 但 严重 依赖 图 嵌入 算法 ， 并 且 缺 乏 对 知识 Nd 
图 谱 的 高 阶 建 模 能 力 。 2 ”推荐 模型 
b) 基 于 路 径 的 方法 (path-based mothod) 利 用 知识 图 谱 结 本 节 介 绍 本 文 提出 的 基于 用 户 潜在 兴趣 的 知识 感知 传播 
构 化 的 特征 ， 挖 掘 图 谱 中 实体 之 间 的 关系 。 在 推荐 系统 算法 推荐 模型 (Knowledge-aware propagation based on user's 
中 常常 将 用 户 -项 目 交 互信 息 poules 相 融 合 ， 因 此 可 以 potential interest，KPUPI)， 通 过 异 构 传 播 方 法 学 习 协 同 知识 
使 用 元 路 径 挖 掘 方法 学 习 实 体 之 间 的 关系 。Hu 等 人 09 提 出 图 中 的 高 阶 关联 知识 与 用 户 兴 趣 表示 。KPUPI 模型 框架 如 
ea 也 是 特殊 的 异 质 信 息 1 所 示 。 


en 


Bus 


网 络 ， 因 此 在 知识 图 谱 上 以 元 路 径 的 潜在 特征 提取 方式 进行 | 2 B e 
连接 ， 并 生成 不 同类 型 的 连接 表示 。Wang 等 人 0 提出 了 一 | ~ 
种 知识 感知 路 径 递归 网 络 IKPRN)， 该 模型 通过 实体 嵌入 和 pe zu e - 
KRRARH EERE. fF] LSTM 层 对 各 条 路 径 | l arr - ECL 
进行 编码 ， 并 且 通 过 全 连接 层 预测 每 个 路 径 上 用 户 对 项 目的 | A SUR CT | 
偏好 ， 最 终 加 权 聚 合 得 到 用 户 偏好 估计 。 基 于 路 径 的 方法 需 | | 
要 一 定 的 专业 领域 知识 ， 并 且 随 着 路 径 数量 的 增加 ， 处 理 耗 A [em E L 
时 耗 力 且 难以 优化 到 理想 效果 ， 因 此 实用 性 较 低 。 | M HE M 

c) dE T HA FH dE HI 7; YE (embedding propagation-based Ex: i |] {| m 
methods) 可 以 有 效 地 利用 知识 图 谱 中 的 高 阶 信息 ， 因 此 极 大 下 一 
的 提高 了 推荐 准确 度 。 该 方法 在 知识 图 谱 上 以 迭代 传播 关联 "cog 
知识 的 方式 挖掘 辅助 信息 ， 利 用 获取 的 辅助 信息 开展 推荐 任 Graph inte zm ES "o 
务 以 此 提高 推荐 效果 。Wang 等 人 I 器 提出 的 i VA | 
RippleNet(Multiple Ripples Networks) Ti? TE Api BRNE PER O so 
稼 据 用 户 的 潜在 偏好 ， 以 用 “的 历史 交互 为 种 子 ， EA ied 图 1 KPUPI 模型 框架 
的 形式 传播 以 此 获得 用 户 的 层次 兴趣 。Wang 等 人 09] 提 出 基 Fig.1 KPUPI model framework 

主要 分 为 3 层 ， 分 别 为 图 藤 入 层 、 传 播 层 以 及 预测 


于 图 卷 积 网 络 的 KGCN(Knowledge Graph Convolutional 模型 
Networks) 模 型 ， 将 知识 图 谱 转 换 为 用 户 特 定 条 件 下 的 加 权 民 。 图 嵌入 层 生成 协同 知识 图 中 的 实体 与 关系 的 欢 入 表示 ， 
图 ， 并 区 分 图 中 实体 节点 的 重要 性 ， 友 代 聚 合 邻 居 信 息 获 得 拒 入 表示 中 保留 着 图 中 的 关联 知识 与 图 结构 信息 ，e9 e 
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分 别 表示 用 户 与 项 目的 初始 化 嵌入 表示 。 在 传播 层 中 模型 采 
用 异 构 传播 的 方式 同时 传播 关联 知识 与 用 户 偏好 ， 通 过 知识 
感知 注意 力 机 制 区 分 相 邻 实体 的 重要 性 并 获得 用 户 与 项 目 每 
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et 为 用 户 的 初始 表示 ，e 为 头 实体 的 嵌入 表示 ， 为 
关系 实体 的 嵌入 表示 ， 注 意 力 网 络 函 数 C) 计算 得 到 尾 实体 
eL 的 注意 力 权 重 ， 该 权重 可 反映 出 头 实体 对 尾 实体 节点 的 


ZRAK en e, EWEIN REAG Z AH 
阶 潜在 兴趣 以 此 增强 用 户 最 高 阶 的 表示 er 及 项 目 最 高 阶 的 
表示 er”。 预 测 层 使 用 信息 衰减 因子 区 分 不 同 传播 层 的 信息 
衰减 程度 ， 并 有 效 地 聚合 用 户 与 项 目的 最 终 表 示 ， 通 过 内 积 
操作 得 到 预测 分 数 六 ， 完 成 推荐 预测 。 
2.1 HRAB 
图 虑 入 层 在 三 元 组 层次 上 得 到 关系 与 实体 的 嵌入 表示 ， 
细 粒 度 的 学 习 具 有 结构 信息 的 用 户 与 项 目 表示 ， 提 升 模型 中 
用 户 和 项 目的 表达 能 力 ， 提 高 推荐 性 能 。 
知识 图 伟 入 技术 BC 是 图 表示 学 习 领 域 的 重要 研究 内 容 ， 
该 技术 可 以 将 协同 知识 图 中 的 关联 知识 更 好 的 表达 出 来 ， 
此 广泛 应 用 于 知识 感知 推荐 算法 中 ， 本 文 使 用 TransR 算法 
对 协同 知识 图 进行 内 入 表示 学 习 ， 该 算法 在 不 同 的 租 入 空间 
中 建 模 实体 与 关系 ， 不 同 的 实体 类 型 可 以 映射 到 同一 关系 空 
间 中 。 给 定 协 同 知识 图 中 的 知识 条 目 (h,nt)， 通 过 艇 入 表示 
学 习 获 得 由 关系 空间 映射 得 到 的 头 实体 与 尾 实体 的 散 入 表示 
h, jt, ， 定 义 如 下 : 
h,-hM,, t,=tM, (1) 

其 中 M, 为 从 实体 空间 映射 到 关系 空间 的 转换 和 矩阵， 评分 函 
数 f, 0.0) 计算 两 种 实体 对 应 关系 空间 中 的 偏差 ， 其 定义 如 下 : 

f. (h.t) 21M h, +r-t,lB (2) 
其 中 态 是 头 实体 嵌入 表示 ，T 为 关系 表示 ， EKARA 


T: 


重要 性 ， 注 意 力 函数 定义 如 下 : 


z, - ReLU(W, (e, e; |r) +b) (6) 


z(e e! ,r,) = o(W, ReLU(W,z, * b) +b) (7) 
注意 力 网 络 通过 拼接 操作 将 实体 初始 表示 e? 、 头 实体 
HR BN os e FLOS ZR SEHR TI UN S n 拼接 到 一 起 ，W Hb 
为 需要 学 习 的 参数 ， 不 同 的 下 标 表示 不 同 的 层 数 ， 最 后 使 用 
Softmax 函数 对 三 元 组 的 系数 进行 归 一 化 ， 注 意 力 网 络 函数 
1O 的 最 终 定义 如 下 : 

expGr(e" e r)) 
(el er) = paeem (8) 
E, 为 目标 用 户 在 第 7/ 层 的 三 元 组 集合 ， 聚 合 每 层 三 元 组 
中 的 尾 实 体 的 注意 力 符 入 表示 必 可 以 得 到 用 户 (项 目 ) 在 传播 
第 1 层 的 租 入 表示 Cl， 定义 如 下 : 


Cl =a, (9) 


ELE 1 层 中 三 元 组 的 总 数 ， 每 层 的 嵌入 表示 有 效 的 表达 

传播 过 程 中 的 细节 ， 可 以 提高 推荐 模型 的 表达 能 

2.2.2 用 户 潜 在 兴趣 传播 
基于 肉 入 传播 的 知识 图 谱 推荐 在 学 习 用 户 及 实体 的 表示 

时 在 高 阶 传播 过 程 中 普遍 存在 语义 相关 性 降低 的 问题 。 相 较 

于 KGAT、HKIPN 等 先进 的 推荐 算法 ， 本 模型 在 高 阶 传播 过 

程 中 采用 用 户 潜在 兴趣 传播 方式 增强 用 户 高 阶 表示 ， 给 定 用 


表示 。 评 分 函数 fL (ht) 评分 越 小 表明 三 元 组 为 事实 的 概率 更 
大 。 该 算法 的 训练 考虑 到 正 例 三 元 组 与 负 例 三 元 组 之 间 的 相 
对 顺序 ， 使 用 成 对 排名 损失 函数 计算 ， 定 义 如 下 : 
Lexar = b3 -Ino(f. (h.t) — f. (hf) (3) 

(h 


rti )er 


Hop T={(hr,t, f) (hrt)eG(hr.f)eG}), f| — 528 REX XE BL 
替换 的 方式 生成 的 ，6() 为 Sigmoid 激活 函数 。 

2.22 异 构 传播 层 
2.2.1 知识 感知 传播 
协同 知识 图 中 包含 用 户 实体 、 项 目 实体 以 及 项 目的 相关 
属性 ， 实 体 之 间 的 关系 具有 丰富 的 关联 知识 ， 并 且 ， 相 邻 实 
体 之 间 具 有 强 关 联 性 ， 沿 着 协同 知识 图 的 链 路 传播 可 以 获得 
逐 层 知识 ， 随 着 传播 层级 增加 可 以 得 到 不 同 层 级 的 实体 集 与 
三 元 组 ， 其 中 包含 着 高 阶 关 联 知识 与 用 户 兴 趣 。 不 同 层次 的 
有 效 信息 可 以 丰富 用 户 与 项 目的 向 量 表示 。 
用 户 与 项 目 每 一 层 都 存在 大 量 的 三 元 组 集合 ， 因 此 需 
固定 每 层 的 三 元 组 数量 ， 用 户 与 项 目 在 图 中 的 传播 方式 是 相 


户 最 高 阶 三 元 组 集合 惧 ， 通 过 比较 用 户 交 互 的 项 目 v 与 每 
个 三 元 组 中 的 头 实 体态 与 关系 实体 及 分 配 一 个 相关 性 概率 
Pp; ， 通 过 定义 如 下 : 


p; = softmax(v' Rh,) = 


exp(viRh, 
有 (10) 
其 中 R 5j h y 3| e OR IR CN Eos ESSE RUN és. A 
通过 相关 性 概率 反映 出 在 关联 空间 中 项 目 与 实体 之 间 的 相似 
性 ， 其 中 不 同 关 系 条 件 中 项 目 与 对 应 实体 的 相似 度 不 同 。 三 
元 组 中 的 尾 实体 # 与 对 应 的 相关 性 概率 p; 加 权 求 和 可 获得 
| 户 的 高 阶 潜在 兴趣 表示 zt ， 定 义 如 下 : 


zb- Piti 
d (1) 


户 高 阶 潜在 兴趣 表示 可 以 有 效 的 提高 高 阶 传播 中 用 户 
表示 的 表达 能 
2.3 预测 层 
在 异 构 传 播 的 过 程 中 随 着 传播 层级 的 增加 存在 关联 知识 


— 


同 的 ， 本 文 以 o 为 占 位 符 ，o 可 表示 用 户 u 及 项 目 v， 更 高 
层次 的 三 元 组 集合 E 中 头 实体 h 来 源 于 上 一 层 三 元 组 集合 
EE' ， 通 过 层 层 传 播 的 方式 传递 信息 ， 其 定义 如 下 
El={(h,r, Dh,tt) eG and heEm),l=1,2,...,L (4) 
其 中 G 是 知识 图 谱 ，1 为 传播 层次 ， 在 协同 知识 图 上 进行 深 
度 传播 ， 可 以 有 效 的 获取 用 户 与 项 目的 高 阶 交互 信息 ， 并 提 
升 用 户 与 项 目 节点 的 表达 能 力 。 对 一 个 用 户 或 项 目 而 言 ， 不 
同 关系 对 应 的 实体 节点 的 重要 性 是 不 同 的 ， 因 此 在 同一 层 的 
传播 过 程 中 ， 需 要 区 分 邻居 的 重要 性 。 使 用 注意 力 机 制 可 以 
效 地 区 分 同一 层次 的 传播 过 程 中 相 邻 实体 之 间 的 重要 程度 ， 
使 用 户 及 项 目的 嵌入 表示 更 加 精确 。 

段 设 在 协同 知识 图 中 的 某 用 户 或 项 目 第 1 层 的 第 i 个 三 
元 组 为 (pbD0， 加 入 知识 感知 注意 力 机 制 的 尾 实体 节点 能 入 
表示 a BH FÉ SEI RUN Sz e 以 及 由 注意 力 函 数 O 计算 得 到 
的 对 应 注意 力 权重 的 乘积 而 来 ， 定 义 如 下 : 

a, = 1(6,.6] 1e; (5) 


相关 性 较 小 等 信息 衰减 问题 ， 通 过 神经 网 络 检测 项 目 在 传播 
过 程 中 产生 的 信息 衰减 信号 ， 其 衰减 因子 定义 如 下 : 
qo = ReLU(W, (e? IIC!) +b) (12) 
5 o (W, ReLU (W,qo * b,)) (13) 
其 中 使 用 ReLu 函数 作为 非 线性 激活 函数 ，G(') 为 Sigmoid K 


N DL 


上 
数 ，1 为 拼接 操作 ，W 和 b 为 可 学 习 的 参数 ， 岂 为 第 1 层 的 
衰减 因子 。 用 户 最 终 的 表示 es 由 用 户 初始 表示 w? 、 用 户 在 
各 层 衰减 因子 影响 下 的 层次 表示 以 及 用 户 高 阶 潜在 兴趣 表示 
好 相 结 合 ， 其 定义 如 下 : 


L 
e, 2 wi Y sC] +zi (14) 
i=l 


其 中 C; 为 用 户 在 第 7 层 的 嵌入 表示 。 项 目 最 终 表 示 。, 由 项 目 
初始 化 表示 如 、 项 目 在 各 层 衰减 因子 影响 下 的 层次 表示 C: 
以 及 基于 用 户 潜在 兴趣 的 高 阶 项 目 表示 zt 相 结 合 ， 定 义 如 下 : 


L 
e, =w? - YsiCi +O (LCD (15) 
il 


@() 为 全 连接 操作 ， 志 为 项 目 高 阶 交互 表示 ， CHH 


目 在 第 LUNAR 
] 日 内 积 nd 


偏好 得 分 ， 得 分 大 小 


(16) 


型 的 优化 问题 ， 为 了 确 s 从 用 


户 未 观测 到 的 交互 中 随 


Rr 


型 的 效果 ， 


pa Tw, &)-. P Tw 3.) 


(7) 


分 邻居 的 重 


实习 
只 关联 信息 与 


: 基于 用 户 潜在 兴趣 的 知识 感知 传播 推荐 算法 


的 最 终 表 KGCNI?I, 


neon 传播 模型 ， 通 过 区 


有 效 的 学 习 知 


ur 


与 项 目的 表示 。 


rts 


[un 


KGATP!; 


司 知识 图 谱 中 区 分 邻 域 


HKIPNI; 
mo 基于 


WEH], A a 
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用 异 构 传播 方法 ， 在 协同 


知识 图 中 分 层 


F 注意 力 机 制 生 


KPUPIE 模型 的 主要 参数 取 值 均 参 考 主流 


户 项 表示 。 


高 阶 邻居 信息 ， 以 获 


E 荐 模型 中 的 实验 参数 范围 进 和 


的 基于 嵌入 传 


H, T "op P RI 
用 户 的 负 交 互 。 0 
入 部 分 损失 (公式 (3)) 与 推 


IME, HENA 
= Ler Legg + hllOl 
zm 4 为 协同 知识 图 嵌入 损失 与 推荐 部 分 损失 的 平衡 超 参 
QO= Ya W.B,,Vie(0,1..4) 是 模型 的 一 
正则 化 项 ， 最 终 对 损失 函数 最 小 化 学 


习 村 型 的 相关 参数 ， 


用 两 个 真实 场景 下 的 公开 
与 当 "HRAGICER BIET IAN 


oem c pos 
果 ， 通 过 实验 获 和 
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" 
m 


两 人 真实 场景 下 使 用 最 广泛 的 知识 SE 


EXE, X 
Wa En 


， 并 使 用 可 


防止 


(18) 


组 参数 ， 


评估 模型 ， 


CSAR., 
Et 任务 验证 算法 的 推 
参数 ， 最 后 通过 消融 实验 证 


荐 效 


性 ， 选 择 
荐 公开 数据 集 即 音 


验 ， 以 上 两 个 数据 集 都 是 以 显示 反馈 


4 比例 随机 分 为 训练 集 、 验 证 集 


chinaXiv 


Tab. 1 The dataset used by the experiment 


5454€ Book-CrossingU9!3E £7 SE 
馈 的 方式 组 织 的 ， 为 了 更 
为 隐 式 反馈 。 本 文 将 数据 集 
IE, XT 


[EORR mm 


3.2 ”对 比方 法 与 参数 设置 


性 ， 文 章 与 以 下 经 


数据 集 相 关 特 生 
3& Lr 在 {103,2x103,10- 
在 (105,107,103,10? 
(8, 16,32,64,128] 4 


在 实验 阶段 分 析 


进行 实验 最 终 得 出 最 优 参数 设置 ， 其 中 学 习 


z 
c 


句 量 维度 d 在 
选择 ， 层 次 传播 深度 L 将 在 {0,1,2,3,4} 之 


始 化 模型 
Tog 
JERUSA, ik 
WEE. XE 
度 工 及 三 元 组 数 T 均 从 较 大 数值 中 i 

表 2 实验 结果 最 优 参 类 


] Adam 优化 器 对 
参数 ， 固 


化 项 的 系数 入 


调整 ， 层 次 三 元 组 数 T 将 在 {16,32,64,128} 之 间 调 整 ， 使 
使 用 Xavier 初始 化 器 初 
定 训练 批 次 大 小 为 1024， 通 过 实验 获得 
示 。 Lr 与 系数 入 
集 用 户 项 目 交互 稀 


MERRER BANIE, IEA 
突出 模型 特点 。 


Tab. 2 The optimal parameters of the experimental results 


数据 集 


Last.FM 
Book-Crossing 


d L T 
128 4 128 
64 3 128 


各 对 比方 法 实验 主要 参 


了 是 通过 实证 研究 


Fl 5 AUC } 
Recall@K 评估 模型 。 


或 遵循 原始 论文 来 实现 的 ， 
最 佳 状态 下 进行 对 比分 析 
3.3 ”基线 模型 对 比分 析 
KPUPIE 模型 在 CTR id 
9 4T bs YE 


AUC 指标 


AUC = 


模型 中 pos 表示 正 样 
wr、 Ne 分 别 表 示 正 档 
量 。F1 指标 同时 阐 


是 模型 准确 率 与 召 


实验 的 所 有 对 比方 法 均 处 了 
效 性 。 


H 


Ff 率 预测 任务 过 程 中 选择 使 用 
E 荐 任务 中 使 用 


Yos »neg)40.5x Yos -neg) 


序 能 力 ， 定 义 如 下 : 


(19) 


> pos 表示 负 样 本 的 得 分 
数量 ; n 表示 样本 总 


UE 


Kp P RAY 
ki, R 为 模型 
率 。 在 TopK 推荐 


9 正 样本 占 被 分 为 正 样 


顾 模型 的 准确 率 、 精 确 率 与 召回 率 ， 
率 的 调和 平均 ， 定 义 如 下 


(20) 


率 反映 用 户 推 


将 协同 过 滤 与 贝 
j TransR 


径 的 推荐 方法 ， 使 用 


:于 元 路 径 的 实体 


p, "ies" JE 


A 


试 集 5 


其 中 R(Cu) 为 模型 生成 的 用 户 
的 交互 列表 。 
结果 如 表 3 所 示 ，Top-K 推荐 结果 
结果 的 分 析 可 以 得 到 以 下 结论 
出 的 KPUPIE 算法 使 用 


a) 本 文 提 
ER, Æ CTR 预测 任 


lL 体 而 言 ，KPUPTIE 模型 在 Last.FM Ait 


E 样 本 被 正确 找 回 的 概 
] 的 BEL 评估 模型 ， 召 回 
项 目的 比例 ， 定 义 如 下 : 


(21) 


IK, TUAH u 在 测 


个 数据 集 上 的 CTR 预测 


x 2 所 示 ， 通 过 对 实验 


个 稀 玻 性 较 高 的 数 
王 务 中 都 表现 最 好 ， 
if Ej Book-Crossing 


chinaXiv:202205.00078v1 


录用 定稿 张 波 ， 


数据 集 上 进行 CTR 预测 任务 ， 其 中 AUC 指标 相 较 于 最 先进 

的 基线 提升 了 2.25% 与 4.7196, Fl 指标 分 别提 升 3.05% 和 

1.20%。 并 且 在 Top-K 推荐 任务 中 Recall@K 指标 在 绝 大 多 

数 K 值 条 件 下 都 优 于 最 先进 的 基线 算法 ， 充 分 的 验证 了 本 文 

提出 的 算法 的 有 效 性 。 
表 3 CTR 预测 实验 结果 

Tab.3 Result of CTR prediction experiment 


模型 Last.FM Book-Crossing 
AUC F1 AUC F1 

CKE 0.743 0.675 0.676 0.623 
PER 0.641 0.601 0.605 0.573 
RippleNet 0.778 0.702 0.721 0.647 
KGCN 0.802 0.722 0.684 0.631 
KGAT 0.825 0.739 0.731 0.654 
HKIPN 0.845 0.754 0.743 0.666 
KPUPI 0.864 0.777 0.778 0.674 


Recall@K 


Recall@K 


图 2 TOP-K 任务 实验 结果 
Fig.2 TOP-K task experimental results 
DXI EGET ATA EHE RO TEE SETA RD AU, CETT FL PE 
强 的 数据 集 上 ， 基 于 传播 的 方法 其 推荐 效果 整体 上 优 于 基于 
WONBUZIE(CKE 模型 ) 和 基于 路 径 的 方法 (PER 模型 )。 其 原 
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的 高 阶 表示 ， 更 精确 的 学 习 用 户 的 兴趣 表示 及 项 目 表示 。 本 
文 提出 的 HPUPIE 模型 在 整体 传播 的 过 程 中 使 用 协同 知识 图 ， 
有 效 的 学 习 传 播 过 程 中 的 用 户 、 项 目 表示 ， 并 从 用 户 角度 利 
j 高 阶 连 通 性 增强 用 户 高 阶 的 表示 ， 有 效 的 解决 高 阶 知识 关 
基 程 度 降 低 的 问题 ， 使 推荐 效果 得 到 有 效 的 提升 。 
3.4 实验 参数 影响 分 析 
为 了 进一步 的 研究 模型 核心 思想 传播 层 异 构 传 播 对 实验 
结果 的 影响 ， 本 节 近 一 步 的 通过 调节 相关 实验 参数 进行 实验 ， 
SAREN 寺 构 对 CTR 预测 任务 中 AUC 指标 的 影响 。 
(1)KPUPIE 模型 的 租 入 维度 设置 如 3.2 小 节 所 述 ， 嵌 入 
向 量 维度 d 在 {8,16,32,64,128} 中 选择 ， 实 验 结果 如 表 4 所 示 ， 
通过 实验 分 析 ， 在 一 定 程度 上 增加 实体 和 关系 的 嵌入 维度 可 
以 有 效 的 提高 推荐 准确 性 。 但 Book-Crossing 数据 集 实验 结 
果 显 示 ， 当 维度 荐 准确 性 降低 的 情况 ， 因 为 增加 符 
人 
平滑 现象 ， 致 使 扒 


si 4 RAEI AUC 的 影响 


Tab.4 The impact of embedding dimensions on AUC 
维度 8 16 32 64 128 
Last.FM 0.839 0.845 0.847 0.854 0.864 
Book-Crossing 0.749 | 0.754 0.768 0.778 0.766 


CO) 模型 中 传播 层 数 对 推荐 结果 的 影响 从 两 个 角度 分 析 ， 

曾 加 传播 层 数 可 以 有 效 的 丰富 用 户 与 项 目的 表示 ， 如 表 5 所 
， 在 LastFM 数据 集 上 ， 增 加 传播 层 数 使 推荐 结果 的 AUC 
"m 的 提高 。 但 随 着 传播 层 数 增加 ， 越 来 越 多 的 与 用 户 、 
项 目 不 相关 的 实体 邻居 被 学 习 到 用 户 及 项 目的 表示 中 ， 产 生 
了 更 多 的 噪声 ， 一 定 程度 上 影响 推荐 性 能 。 在 Book- 
Crossing 数据 集 上 ，AUC 指标 在 传播 深度 到 达 4 层 时 比 传播 
导数 为 3 层 更 低 。 

表 5 传播 层 数 对 AUC 的 影响 
Tab.5 The influence of the number of propagation layers on AUC 


w 


| 


E 


ZJ 


层 数 0 1 2 3 4 
Last.FM 0.811 0.824 0.841 0.857 0.864 
Book-Crossing 0.694 0.721 0.749 0.778 0.770 


(1) 在 传播 过 程 中 每 个 实体 可 能 存在 很 多 邻居 ， 但 由 于 
计算 开销 的 限定 ， 文 章 仅 讨论 每 层 三 元 组 数量 在 
{16,32,64,128} 不 同 大 小 时 对 推荐 效果 的 影响 。 实 验 结果 如 
表 6 所 示 ， 每 层 的 三 元 组 数 在 128 时 可 以 得 到 最 好 的 推荐 效 


因 在 于 基于 传播 的 方法 充分 利用 了 实体 的 高 阶 连 通 性 挖掘 高 
阶 关联 信息 ， 以 此 获取 更 好 的 用 户 和 项 目 表示 ， 使 推荐 结果 
更 加 精准 。 

c) KGCN 模型 相 比 较 ， 加 入 注意 力 机 制 的 KGAT Tz 
型 、HKIPN 模型 和 KPUPIE 模型 AUC 值 在 两 个 数据 集 上 至 
少 提 升 2.87%， 说 明 结合 注意 力 机 制 的 推荐 模型 可 以 更 精确 
的 学 习 传 播 过 程 中 用 户 和 项 目的 嵌入 表示 。 

d)RippleNet 模型 、KGCN 模型 、KGAT 模型 、RippleNet 
模型 以 及 本 文中 提出 的 KPUPIE 模型 都 是 基于 传播 的 方法 ， 
RippleNet 模型 和 KGCN 模型 从 用 户 角度 或 项 目 角度 单方 面 
建 模 高 阶 连 通 性 ， 并 通过 传播 的 方式 挖掘 用 户 兴 趣 (聚合 项 
目的 高 阶 邻 居 表 示 )， 因 此 在 学 习 用 户 - 项 目 拒 入 表示 的 过 程 
中 忽略 部 分 有 用 信息 。KGAT 模型 和 HKIPN 模型 的 表现 证 
明 将 用 户 -项 目 交互 信息 融合 到 知识 图 谱 中 可 以 同时 有 效 地 
获取 用 户 、 项 目的 高 阶 信息 ， 使 推荐 结果 得 到 有 效 的 提升 。 
e) RippleNet 模型 从 用 户 角度 单方 面 的 进行 高 阶 传播 
表示 学 习 相 比较 ， 本 文 模型 的 优势 是 在 协同 知识 图 上 从 用 户 
与 项 目 交互 的 角度 进行 高 阶 传播 表示 学 习 。 与 KGAT 模型 、 
HKIPN 模型 相 比较 ， 本 文 模型 进一步 的 改善 高 阶 传播 过 程 
中 的 知识 关联 性 ， 具 体 表现 在 异 构 传播 层 增加 了 用 户 与 项 目 


果 ， 由 于 Book-Crossing 数据 集 和 Last.FM 数据 集 数据 稀 琉 ， 
需要 更 多 的 辅助 信息 提供 关联 知识 丰富 用 户 与 项 目的 表示 。 
表 6 三 元 组 数 对 AUC 的 影响 

Tab.6 The influence of the number of triples on AUC 


三 元 组 数 16 32 64 128 
LastFM 0.848 0.849 0.854 0.864 
Book-Crossing 0.760 0.768 0.771 0.778 


3.5 ”模型 结构 分 析 

本 文 以 CTR 预测 任务 的 AUC 值 为 消融 实验 的 评估 指标 ， 
讨论 模型 中 衰减 因子 模块 与 用 户 最 高 阶 兴趣 增强 模块 在 模型 
中 有 效 性 ，KPUPLD 模型 不 考虑 传播 过 程 中 的 信息 衰减 现 
象 ， 将 各 层 表 示 简 UM 1P 0 H)XR e 
KPUPUU 模型 在 高 阶 信息 传播 学 习 用 户 ( 项 目 ) 的 表示 时 不 使 
用 户 高 阶 兴趣 增强 模块 ， 寺 接 聚合 相关 表示 。 消融 实验 结 
RUK 7 所 示 ， 从 表 中 可 知 : 

a) 当 高 阶 信 息 传播 过 程 中 知识 关联 性 降低 问题 存在 时 ， 
在 两 个 数据 集 上 ，KPUPLU 模型 的 评估 指标 与 KPUPI 模型 
的 表现 相 比 有 明显 的 差距 ， 其 原因 是 KPUPI 模型 使 用 用 户 
潜在 兴趣 传播 方法 学 习 更 多 的 用 户 、 项 目 交互 信息 并 且 增 加 
低 阶 实体 与 高 阶 实体 的 语义 关联 性 。 对 比 结果 突显 出 信息 传 


吉 果 突显 出 信 
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播 的 过 程 中 增强 用 户 ( 项 目 ) 高 阶 柑 入 表示 的 重要 性 。 
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及 知识 关联 性 减 小 的 问题 ， 通 过 在 协同 知识 图 的 链接 中 自 


P 


b)KPUPU/D 模型 简单 的 聚合 各 层 的 表示 生成 最 终 的 表示 
并 不 能 准确 的 表达 用 户 及 项 目的 最 终 表 示 ，KPUPI 模型 考 


动 
和 迭代 挖掘 用 户 的 高 阶 潜在 兴趣 ， 并 补充 用 户 最 高 阶 表示 ， 以 
此 增强 用 户 与 项 目的 最 终 表 示 。 使 用 音乐 、 书 籍 数 据 集 与 当 

Ej 3 


虑 信息 传播 的 信息 衰减 情况 ， 更 精准 的 区 分 各 层次 的 表示 
要 性 ， 这 表明 在 增加 信息 衰减 因子 ， 推 荐 效果 在 一 定 程度 上 
会 有 所 提升 。 
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表 7 消融 实验 结 


Tab.7 Results of ablation experiment 


模型 KPUPID KPUPI/U KPUPI 

Last.FM 0.860 0.8420 0.864 

Book-Crossing 0.769 0.746 0.778 

3.6 ”案例 分 析 

本 节 针 对 用 户 兴趣 传播 进行 案例 分 析 ， 以 展示 用 户 高 阶 
兴趣 传播 过 程 中 具体 的 细节 。 为 此 ， 从 LastFM 数据 集中 随 
机 选取 一 个 用 户 (41670) 构 建 与 其 交互 相关 的 协同 知识 图 示 
意图 作为 案例 说 明 。 如 图 3 所 示 ， 该 图 描绘 了 用 户 u1670 在 


协同 知识 图 中 进行 三 阶 兴 趣 传播 过 程 中 的 相关 概率 。 图 中 可 
以 观察 到 KPUPI 模型 区 分 项 目 知 识 图 谱 的 项 目 实体 相关 属 
性 对 用 户 兴趣 的 不 同 影 响 。 例 如 ， 用 户 的 交互 项 目 i3623 在 
用 户 的 一 阶 兴 趣 传播 过 程 中 相似 性 概率 最 高 ， 说 明 该 项 目 最 
能 反映 出 用 户 的 兴趣 ， 因 此 可 以 为 学 习 用 户 兴趣 表示 提供 更 
多 的 信息 ， 从 而 为 用 户 兴 趣 在 协同 知识 图 中 的 高 阶 传播 提供 
更 精确 的 表示 。 
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图 3 案例 分 析 示 意 
Fig.3 Schematic diagram of a case study 
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本 文 提 出 基于 用 户 潜在 兴趣 增强 的 知识 感知 传播 推荐 模 
型 ， 在 由 用 户 -项 目 交 互 图 与 知识 图 谱 相 结合 的 协同 知识 图 
上 异 构 传 播 ， 分 层 传播 用 户 与 项 目的 表示 ， 在 传播 过 程 中 使 
用 知识 感知 注意 力 机 制 区 分 每 层 中 邻居 的 重要 性 ， 有 选择 的 
聚合 邻居 节点 表示 ， 为 解决 高 阶 传播 过 程 中 存在 信息 衰减 以 
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[zd 


EE 


前 最 经 典 的 推荐 模型 进行 实验 对 比 ， 本 算法 的 推荐 效果 显 
提升 。 在 未 来 ， 计 划 将 用 户 社交 网 络 结合 到 本 文 的 模型 中 。 
将 知识 图 谱 与 用 户 信息 相 融 合 ， 生 成 包含 用 户 信息 与 项 目 信 
息 的 异 质 信息 网 络 以 此 更 好 的 建 模 用 户 与 项 目的 交互 关系 、 
探索 结构 语义 信息 ， 增 强 推荐 系统 的 准确 性 与 可 解释 性 。 
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